Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

Gut, wir hatten jetzt angefangen uns mit nicht restringierter Optimierung auf dem

RN zu beschäftigen und hatten gesehen, naja ein Zugang wäre zu sagen, wir rechnen tatsächlich

stationäre Punkte aus. Damit sind wir wieder in der Welt der Lichtlinieingleichungssysteme.

Mit der Problematik, dass beim allgemeinen Funktional wir nicht wirklich wissen, ob ein

stationärer Punkt auch wirklich ein Minimum oder ein Maximum oder vielleicht ist es weder noch,

dann darstellt, dass der eine Aspekt, der andere Aspekt ist, wenn man da ein relativ schnelles

Verfahren haben will, wo bei uns natürlich dann sofort das Newton-Verfahren einfällt,

müssen wir dann die Jacobi-Matrix der Gradientenfunktion bestimmen in jedem

Iterationspunkt. Das heißt also die Hessse Matrix. Das heißt wir brauchen Ableitungsinformationen

erster und zweiter Ordnung. Das ist recht aufwendig. Da kann man herangehen, das jetzt wiederum abzuspecken,

indem man sagt, wir machen nicht wirklich ein Newton-Verfahren, sondern ein vereinfachtes

oder approximatives Newton-Verfahren, wo man nicht unbedingt dann die Hessse Matrix exakt auswertet.

Wir werden auf diesen Aspekt wieder zurückkommen und jetzt erst mal ein Stück zurückgehen und

sagen, okay, wir wollen uns erst mal jetzt nur Verfahren anschauen, die Ableitungsinformationen

in erster Ordnung berücksichtigen. Das heißt wir setzen die allgemeine Situation zwar voraus,

dass die Funktion einmal stetig differenzierbar ist, dass wir nicht nur das Funktional,

sondern auch den Gradienten an jedem Punkt auswerten können und das sollen die Informationen sein,

die wir zur Verfügung haben. Mit diesen Informationen haben wir schon einmal iterative

Verfahren uns angeschaut. Schon einmal heißt in der letzten Semester in der Einführung die numerische

Mathematik für spezielle Funktionale, nämlich für quadratische Funktionale. Ich erinnere noch

mal an die Situation, die davor lag. Die Situation, die wir uns angeschaut haben, ist sozusagen die

mehrdimensionale Variante der Parabel. Das heißt, wir haben ein quadratisches Funktional, bestehend

aus einem quadratischen Anteil x transponiert ax mit einem Halb davor, dass es sich wirklich zwingen,

das könnte man genauso gut als a absorbieren, aber das macht die nachfolgende Formel etwas schöner.

Und einem linearen Anteil minus b transponiert x. Wenn jetzt, jetzt ist es so, dieses Funkt,

die der Gradient dieses Funktions ist gerade die Residuumgleichung ax minus b. Das heißt,

damit haben wir den Zusammenhang zum linearen Gleichungssystem hergestellt und das war auch

damals unsere Motivation. Wir wollten alternative Verfahren zur Lösung linearer Gleichungssysteme.

Wenn jetzt noch hinzukommt, dass das a positiv definiert ist,

dann fallen all die Begriffe zusammen. Dann ist es also egal, ob man nun von einem stationären Punkt,

das heißt also der Lösung des Gleichungssystems redet, oder von einer Extremalstelle,

die dann notwendigerweise ein Minimum ist und dann in dem Falle sogar notwendigerweise ein

eindeutiges und globales Minimum ist. Das ist also sozusagen das eine Ende des Spektrums,

das ist für die nicht restringierte Optimierung ist das sozusagen das konkreteste, das einfachste

Problem. Das nächste einfache Problem wäre natürlich sich ein lineares Funktional anzuschauen,

das macht aber bei nicht restringierter Optimierung keinen Sinn. Also das ist der

einfachste Fall. Wir wollen jetzt eben in die andere Richtung gehen und wollen hier möglichst

allgemeine Funktionale zulassen, aber unter der Voraussetzung c1, wenn man dann irgendwann

später mal nochmal die Voraussetzung c2 vielleicht doch nochmal hervorholt, dann kann man sich wieder

vorstellen, dass das, was hier steht sozusagen dem lokalen Bild des allgemeinen Funktionals entspricht,

dann würde hier die hesse Matrik stehen und hier würde der Gradient stehen. Jetzt schauen wir uns

nochmal diese quadratischen Funktionale sind Spezialfall eines allgemeineren Falls, wo

letztendlich die Situation ähnlich einfach ist, wie im quadratischen Fall ohne das wirklich

davor liegen muss und zwar ist es der Fall von konvexen Funktionalen. Also wir nennen ein

Funktional dann konvex, wenn ich mir eine Konvexkombination aus zwei Punkten x und y

anschaue, hier ist das allgemein definiert, jetzt nicht nur für den Rn, sondern für einen R-Vektorraum

x, das kann also insbesondere auch ein unendlich dimensionaler Vektorraum sein. Ich schaue mir

eine Konvexkombination an, das heißt ich schaue mir eine Affin-Kombination an aus x und y und ich

möchte haben, dass die Koeffizienten zwischen 0 und 1 liegen. Äquivalent heißt, dass ich nehme ein